AI Papers Daily

#Human Alignment

3 篇

LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation

对话式音乐推荐中LLM-as-a-Judge评估系统响应可靠性研究

🧭 对话推荐系统评估 · LLM-as-a-Judge

KAIST · Deezer Research · SiriusXM · Idiap Research Institute

首次实证验证LLM评判者与人类在对话推荐响应评估中的对齐度，发现中等正相关且优于参考基线

📌 工作参考价值（4 点）

• 低成本自动评估对话推荐响应：在电商客服Bot或导购Agent中，可直接复用LLM-as-a-Judge方案，从个性化和解释质量两个维度打分，替代昂贵的人工评估。
• 提升评判可靠性的工程技巧：使用更大规模的LLM（如GPT-4）并输入完整对话历史，能显著提升与人工评分的相关性。建议在链路上注入用户画像和上下文，而非仅看单轮响应。
• 评估标准可迁移：个性化和解释质量这两个维度可直接用于商品推荐的对话评估，只需将评测Prompt中的物品描述替换为商品属性。
• 相关性分析方法：Bootstrap相关性分析能稳健衡量评判器与人类的一致性，可作为搭建内部自动评估体系的统计框架。

Eval | 2026-07-28 | cs.IR | score 7/10

LLM-as-a-JudgeConversational RecommendationHuman AlignmentBootstrapped CorrelationEvaluationPersonalization

PrivacyAlign: Contextual Privacy Alignment for LLM Agents

PrivacyAlign：LLM Agent 的情境化隐私对齐

🧭 Agent 情境隐私对齐与人类规范对齐

University of Waterloo · ServiceNow AI Research · McGill University · Mila – Quebec AI Institute

引入PrivacyAlign数据集和注释条件奖励建模，训练的小型开源Agent更符合人类隐私规范

📌 工作参考价值（4 点）

• 在电商Agent中防止泄露用户订单、地址等私密信息，可复刻该数据集的构建方法：收集实际泄露场景，进行多轮人工标注（包含解释），用于对齐训练与评测。
• 注释条件奖励建模：利用人类标注（标签+解释）为响应生成细粒度奖励，用于强化学习训练，可迁移到生成式推荐等任务中，避免模型输出敏感用户偏好。
• 用LLM裁判评估隐私行为时，通过条件化人类标注和解释作参考，能提高裁判的可靠性，这一技巧可直接嵌入业务自建的隐私评估流水线。
• 小模型（如Llama-3-8B）经过隐私对齐训练后，能在不牺牲通用能力下大幅提升隐私保护，证明业务场景可用较小自有模型微调实现合规。

Agent | 2026-06-19 | cs.IR | score 7/10

PrivacyLLM AgentsHuman AlignmentReward ModelingContextual PrivacyAnnotation-Conditioned

Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning

通过正无标签学习量化与审计 LLM 评估

🧭 LLM评估校准与偏置校正

Georgia State University · University of Manitoba

将选择性人工监督下的 LLM 评估建模为正无标签学习，通过部分最优传输几何对齐纠正裁判偏差

📌 工作参考价值（4 点）

• 当用 LLM 做推荐理由/对话质量等主观评估时，可利用少量人工“好”样本（正例）通过部分最优传输自动找出嵌入空间中与人类偏好一致的未标注样本，无需大规模重标。
• 该方法不重新训练 LLM 裁判，仅通过几何对齐修正评分，适合线上部署时快速校准频繁出现的冗长偏差等系统性偏置。
• 输出的可解释置信度估计可直接用于过滤低质量评估结果，减少误判对线上推荐系统的影响。
• 可直接套用现有嵌入模型（如sentence embedding），只需构建正样本集合，即可运行审计流程，成本低、工程改造成本小。

Eval | 2026-06-17 | stat.ML | score 6/10

Positive-Unlabeled LearningOptimal TransportLLM-as-a-JudgeBias MitigationHuman Alignment